When Derived Measurements Mislead: Quantifying and Mitigating LLM Over-Trust with Privileged-Modality Reliability Evidence
当派生测量误导：量化与缓解LLM过度信任的可靠性框架
🧭 LLM过度信任评估与缓解
Politecnico di Milano · Zhejiang University · Chinese Academy of Sciences · Emory University · China-Japan Friendship Hospital
定义衍生特征过度信任(DFOT)问题，提出特权模态蒸馏缓解LLM错误信任，在医学时序数据上修复误差率提升1.82-6.69个百分点
📌 工作参考价值（4 点）
- 推荐系统中派生特征（预估CTR、用户标签）进入LLM决策时，可借鉴DFOT框架设计冲突检测与可靠性声明生成，监控COTR/CIR
- 利用离线高能特征（如真实转化标签）作为特权信息蒸馏到在线可靠性模型，校准LLM对派生特征的信任度
- 构建类似D1/D2的逻辑测试集，检验LLM在矛盾噪声上下文下是否会错误接受/拒绝推荐理由
- 对Agent工具调用返回的派生数据，可引入证据特定修复边界(ESRM)评估，防止错误向上传播